Theo Dư địa chí của Nguyễn Trãi soạn xong sớm nhất năm 1435 thì Sơn Tây thời Lê có 6 lộ phủ, 24 huyện, 1368 làng xã. Theo Lịch triều hiến chương loại chí của Phan Huy Chú, trị sở ban đầu ở La Phẩm (Tản Hồng, Ba Vì), sau dời về Cam Giá (Đường Lâm, Sơn Tây). Vị trí địa lý của Sơn Tây khi ấy là:[2]

• Đông giáp Thăng Long, Kinh Bắc và Sơn Nam
• Bắc giáp Tuyên Quang, Thái Nguyên
• Tây giáp Hưng Hóa
• Nam giáp Thanh Hóa[lower-alpha 9]

Trung tâm Xứ Đoài là ngã tư sông Đà, sông Thao, sông Lô và phụ lưu sông Phó Đáy. Tất cả hợp lưu tại Phủ Tam Đái tạo thành sông Hồng, rồi tạo thêm các nhánh sông Hát, sông Nhuệ và sông Cà Lồ. Ngoài ra còn có sông Tích bắt nguồn từ núi Ba Vì, sông Phan từ núi Tam Đảo, cùng sông Bùi và sông Bôi ra từ vùng núi Mỹ Lương.[7] Ca dao có câu "Nhất Tam Đái, nhì Khoái Châu" cho thấy Tam Đái là miền đất màu mỡ nhất miền Bắc. Nhưng ngoài Phủ Tam Đái thì chỉ có Phủ Quốc Oai địa hình khá bằng phẳng, còn lại Xứ Đoài đều nhiều đồi núi.

Ở phía đông bắc là dãy Tam Đảo cao 1591m, kéo dài khoảng 60km. Ở phía tây nam gồm dãy Ba Vì cao 1296m, dãy Viên Nam cao 1031m và vùng núi đá vôi Mỹ Lương trải dài cũng khoảng 60km. Hai phía núi chạy song song bao bọc lấy Xứ Đoài. Với thế tay vịn hai bên, kinh đô Phong Châu của các Vua Hùng nằm giữa và sau lưng theo truyền thuyết là 99 ngọn núi voi chầu.[15] Còn Phủ Quốc Oai thì nổi tiếng với danh thắng Thập lục kỳ sơn là 16 ngọn núi sót lại giữa đồng bằng.[16] Cùng với Phủ Quảng Oai kế bên là hai nơi có nghề khai thác đá ong và nhiều kiến trúc cổ xây từ loại vật liệu này.